На тестовых данных выглядит очень многообещающе и даже чудесно.
Исходное предложение:

Хазяин беспакоится за чистату басейна.

Результат частеречной разметки и лемматизации в новой версии парсера, которую я сейчас обучаю на новом корпусе:
( Read more... )

Проверяю, какой эффект даст учет близости слов в word2vector модели при коррекции опечаток ( Read more... )

Результаты для 20 тестовых предложений, по 10 вариантов на каждом смысле. Полисемию банка "сосуд | отмель" пока игнорируем.
Зеленым - правильный выбор, красный - неправильный.
( Банки и банки... )

[В продолжение темы kelijah.livejournal.com/154769.html]

Синтаксический разбор предложения "Глокая куздра штеко будланула бокра и курдячит бокрёнка" силами только модуля несловарной морфологии в текущей разрабатываемой версии.

Рендеринг синтаксического дерева:( Read more... )

Поиск по корпусу из 100,000 предложений, взятых случайно по разной тематике:

Query: как приготовить суп

0,54986 => Суп сварить, пропылесосить, Жесткий диск с утра почистить.
0,53223 => На обед будет вкусный пирог с мясом и почками.0,52723 => Кейт, похоже, разогревала на плите какой-то суп ( Read more... )

Добавил в синтаксический парсер ряд правил с ослабленными проверками. В итоге анализатор научился раскручивать фразы типа:

мы любить вишня и хотеть кушать клубника

Получается вот такое дерево:
( Read more... )

В парсере доделано расширение алгоритма: при описании проверки согласования и т.д. можно задать штраф за нарушение, а не полный отказ от продолжения разбора.

Другими словами, при нарушении "мягкого" условия правило считается успешно сработавшим, но достоверность результата соответственно понижается.
( Пояснения по мягким )

Проверено: задание дополнительных глобальных ограничений на глубину просмотра позволяет очень легко разбирать предложения с "мусором" такого вида: лишние токены.
К примеру, для теста сделан разбор простого предложения с лишними запятыми:

( Read more... )

После некоторых модификаций алгоритма, парсер научился приблизительно сопоставлять предложение с имеющимися образцами.

Что хочется получить в итоге - эффективный разбор очень длинных предложений, содержащих непонятные парсеру фрагменты (слова, обороты, отклонения от нормы и т.д.).

Рабочий пример - на входе предложение "Сунув руки в карманы, я важно ( Read more... )

Добавил в лексер вызов модуля реконструкции текста. На тестовой задаче (уровня proof-of-concept) получается очень даже интересно.
На входе парсера - предложение с пропущенным предлогом "Я взгляну кошку".
Парсер восстанавливает пропущенный предлог "Я взгляну на кошку".
( Read more... )